Generative End-to-end Ad Retrieval at Douyin
抖音 GEAR：生成式端到端广告检索框架
🧭 生成式推荐 · VQ/Semantic ID ★ 深度解读
ByteDance
GEAR 用正交基 BasisRQ 稳定码本更新，并用轻量重排头消解 item 碰撞，在抖音广告上线取得显著收益
📌 工作参考价值（4 点）
- BasisRQ 可迁移到动态分布下的生成式召回码本：用可学习正交基重参数化 codebook，训练时全局共享梯度、避免死码，推理时码本可预计算缓存、零额外延迟；若业务中生成式 item tokenizer 因流式数据分布漂移而码本利用率低，可替代 EMA 或冻结码本。
- prefix-aware 快速距离计算值得直接复用：在 RQ 每层按前序量化结果对 codebook 做逐元素 affine 变换，再通过代数重排把距离矩阵计算保持为 O(bNd)，避免 3D tensor 内存爆炸；适合电商/广告巨量 item 的 tokenization。
- 轻量生成式重排头可低成本解决 token 碰撞：复用 decoder autoregressive hidden states 生成用户向量，与 item tower embedding 做 dot product，只多一步 decoding + INT4 低精度打分；当 item token 序列碰撞严重时，不必依赖唯一 token 或缩小码本容量。
- 工程化训练与索引策略可借鉴：渐进 warm-up 先训两塔、再开 RQ、最后开生成与重排；生成损失按 secpm 重加权强化高价值样本；近线索引分钟级更新 item 序列与 embedding，CSR-like 目录 + per-sequence 截断保证候选多样性。